El lugar de Luzás fue motivo de constantes enfrentamientos el condado del Pallars Jussà y el reino de Aragón, Sobrarbe y Ribagorza durante el siglo XI, por encontrarse en la frontera entre estos dos territorios. El año 1062 aparece documentado Ximèn Fortuny como teniente del castillo de Luzás, si bien la castellanía correspondía a Arnau Mir de Tost, que también tenía bajo su control los castillos de Viacamp y Falç. Este dejó en herencia todos estos territorios a su nieto Guerau Ponç y a su hija Letgarda, que estaban al servicio del rey de Aragón Sancho Ramírez.

No se conocen los motivos ni cuáles las razones por las que los vizcondes de Àger perdieron el control de Luzás en el siglo XII, que pasó a los condes del Pallars Jussà. A finales del siglo XII volvió a manos de la Corona catalanoaragonesa. Ya en 1292, Jaume II asignó el castillo a la nueva baronía de Felipe de Saluzzo. Este empeñó los castillos de Luzás, Laguarres y Lascuarre para la dote de su boda con Galbons de Cervera.

Hacia la segunda mitad del siglo XIV, Luzás se integró en el tercer condado de Ribagorza, aunque por poco tiempo, pues el conde Alfonso de Ribagorza infeudó el castillo a los barones de Castro-Pinós. Permaneció en manos de esta familia hasta que en el siglo XVIII pasó a manos de los duques de Medinaceli.

El castillo, del siglo XI, se organizaba alrededor de una torre pentagonal, que destaca por su gran altura. Por suerte, hace pocos años fue restaurada y se consolidaron sus muros antes de que se derrumbara. Desgraciadamente no se adaptó para las visitas turísticas, pues, gracias a su altura, se trata de un mirador excepcional.

Aunque exteriormente tenga planta poligonal, la planta interior es cuadrada. La forma pentagonal se consigue gracias a un espolón que hay en la fachada occidental, que hace que el muro sea más grueso y más fácilmente defendible.

Tiene casi 25 metros de altura, divididos interiormente en 6 plantas. Sus muros tienen un grosor de casi dos metros y medio. Como es habitual, el piso inferior era totalmente ciego. Su techo era de madera, que se sujetaba en unos agujeros en la pared y en cuatro canecillos, los que sólo se han conservado tres. El segundo piso tiene tres aspilleras y como el anterior, servía de despensa.

La siguiente planta era la principal, donde se abría la puerta de acceso. Está ligeramente descentrada hacia el oeste.

Está formada por un arco de medio punto adovelado, reconstruido, y rodeado por un segundo arco hecho con pequeñas losas al estilo lombardo.

En esta misma planta, pero al oeste, encontramos la letrina. En el interior de este muro hay un pequeño corredor cubierto con bóveda de cañón y paralelo a la pared interior, que termina en una hornacina, donde hay un agujero cuadrado con una losa inclinada, que servía de desagüe. Este tipo de estructura era habitual en grandes castillos, que tenían que sufrir importantes asedios.

Por encima de esta estancia había tres plantas más. En la primera encontramos tres grandes ventanas de medio punto en cada uno de los muros norte, sur y este y cuatro en el del oeste. Los montantes de las ventanas de los extremos son sesgados, para permitir una mejor defensa. En la parte superior e inferior de las ventanas, vemos unos pequeños orificios, que permitían la sujeción de estructuras de madera, probablemente un tablado, para permitir una mejor defensa.

En el piso superior encontramos dos ventanas de similares características a las del piso anterior, entre las que hay una aspillera. Las dos grandes ventanas se abrían de manera intercalada entre las ventanas del piso inferior, para poder cubrir todo el perímetro, al estilo de la fortaleza del Món, en Perarrúa. Más que ventanas, eran aberturas que permitían el acceso a un tablado de madera.

En el muro este se abre una hornacina semicircular entre las dos grandes ventanas. Ha sido interpretada por los estudiosos como la capilla del castillo. Sin duda, nos encontramos con una de las torres más importantes de la zona, que no sólo cumplía funciones defensivas, si no que también era utilizada como residencia.

En el muro este vemos dos almenas. Son los únicos que se han conservado de todo el perímetro. Se cree, que como en muchos otros castillos de la zona, había un cadalso de madera, que coronaba el edificio.

El recinto del castillo tenía unos 70 metros de largo y unos 25 de ancho. No quedan en pie muchas fragmentos de su muralla, que se adaptaba al perfil rocoso de la plataforma donde se alza. Los más importantes son las dos bestorres semicirculares que hay en los extremos norte y sur. La primera aún conserva casi 2,5 metros de su altura, mientras que la del lado sur no se levanta más que unas cuantas hileras de sillares.